欢迎转载，转载请注明出处，徽沪一郎。 楔子 源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 上篇博文讲述了如何通过修改源码来查看调用堆栈，尽管也很实用，但每修改一次都需要编译，花费的时间不少，效率不高，而且属于侵入性的修改，不优雅。本篇讲述如何 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里， ...

除本人同意外，严禁一切转载，徽沪一郎。 概要 编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。Spark Strea ...

Spark结构式流编程指南 概览 Structured Streaming 是一个可拓展，容错的，基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，Spa ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识 ...

Spark源码分析之-scheduler模块 这位写的非常好, 让我对Spark的源码分析, 变的轻松了许多 这里自己再梳理一遍 先看一个简单的spark操作, 1. Spar ...

欢迎转载,转载请注明出处,徽沪一郎. 概述 Scala越来越流行, Spark也愈来愈红火, 对spark的代码进行走读也成了一个很普遍的行为。不巧的是，当前java社区中很流行的ide如ecli ...